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(54) Title: THREE-DIMENSIONAL OBJECT MEASUREMENT PROCESS AND DEVICE 

454) J^zeichxiux^: VERFAHREN UND VORRICHTUNG ZUR DREIDI MENS ION ALEN VERMESSUNG VON OBJEKTEN 




(57) Abstract 

A three-dimensional object measurement process and device are disclosed by means of optical image capture, projection of patterns 
and triangulation calculations. The pattern projection unit and the image capture unit are separately designed and can be independently 
positioned and guided during the measurement process. This is particularly advantageous for diagnosis, therapy and documentation in the 
field of invasive medicine. 

(57) Zusammenfassung 

Beschrieben wird ein Verfahren und eine Vorrichtung zur dreidimensionalen Vermessung von Objekten durch optische Aufnahmen, 
aufprojizierte Muster und Triangulationsberechnungen. bei dem die Projektionseinheit fur das Muster und die Aufnahmeeinheit voneinander 
getrennt aufgebaut sind und im Verlauf des Vermessungsvorgangs unabhangig voneinander positionicrt bzw. gefuhn werden konnen. Dies 
ist insbesondere fur Diagnostic Therapie und Dokumentation im invasivmedizinischen Bereich vorteilhafL 
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Verfahren und Vorrichtung zur dreidimensionalen Vermessung von Objekten 

Die Erfindung betrifft ein Verfahren zur dreidimensionalen Vermessung von Objekten 
durch optische Aufnahmen, aufprojizierte Muster und Triangulationsberechnungen, 
5 bei dem die Einrichtungen fur die Projektion des Musters und fur die Bildaufnahme 
voneinander getrennt aufgebaut sind und fur die Vermessung unabhangig 
voneinander positioniert werden konnen. 

Ferner betrifft die Erfindung eine Vorrichtung fur ein soiches Verfahren. 

10 

Zum Zweck der Vermessung bietet der Einsatz von Verfahren, die auf optischer 
Grundlage arbeiten, eine Vieizahl von Vorteiien. Eine Vermessung kann schnel! und 
beruhrungslos erfoigen. Zum Stand der Technik gehoren elektronische Bildwandier, 
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beispielsweise CCD-Arrays, deren Ausgangssignale unmitteibar nach einer, 
Digitalisierung gespeichert oder ausgewertet werden konnen. 

Bekannt sind Verfahren und Vorrichtungen zur Darstellung und optischen 
dreidimensionalen Vermessung von raumlichen Oberflachen. Sie basieren auf 
Triangulationsverfahren, bei denen unter einem bestimmten Winkel Punkt-, Linien- 
oder beliebige andere Muster auf die betrachtefe Oberflache projiziert werden und die 
projizierten Muster unter einem anderen Blickwinkel mit einer Optik und einem 
Bildwandler aufgenommen werden. Die bekannte Geometrie zwischen 
Projektionsrichtung und Aufnahmerichtung erlaubt die dreidimensionale Berechnung 
von Stutzpunkten der Oberflache. 

Projiziert man auf ein Objekt mit raumlichen Erstreckungen beispielsweise ein 
gleichmaGiges Linienmuster, ergibt sich bei einer von der Projektionsrichtung 
verschiedenen Blickrichtung aufgrund der Oberflachengestalt des Objekts efn 
verzerrtes Linienmuster. Bildet man aus dieser Betrachtungsrichtung das Objekt 
durch eine geeignete Optik auf ein CCD-Array ab, digitalisiert man die Bildsignale und 
stellt 3ie einer Datenverarbeitungseinheit zur Verfugung, ist es moglich, arc 
verschiedenen Stellen des Bildes die Linien zu identifizieren und bei Kenntnis des 
optischen Strahlengangs und unter Berucksichtigung der geometrischen Ausbildung 
des projizierten Linienmusters QberTriangulation 3D-Koordinaten zu errechnen. 

Es gehort zum Stand der Technik, bei der Aufnahme mehrerer Einzelbilder mit 
unterschiediicher Aufnahmerichtung, die gewonnenen Teilinformationen uber 
dreidimensionale Oberflachen anhand der 3D-Koordinaten ubereinstimmender 
Oberflachensegmente mittels sogenannter "Matching-AIgorithmen" zu einer 
Gesamtinformation zu kombinieren. 

Nun ist es beispielsweise fur endoskopische Untersuchungen wunschenswert 

a) getrennte Einheiten fur die Projektion des Musters und fur die Bildaufnahme zu 
verwenden und diese mit einer frei wahlbaren Ausrichtung gegenuber der zu 
vermessenenden Oberflache einzusetzen. Urn fur die Triangulationsberechnung 
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relevante Daten zu erhalten darf hierbei ein minimaler Winkel zwischen der 
Ausrichtung der beiden Einheiten nicht unterschritten werden; 

b) sofern eine Folge von Einzelbildem aufgenommen wird, wahrend des 
5 * Aufnahmevorgangs die Position und Ausrichtung der beiden Einheiten 

gegenubfer dem Objekt, zur Vereinfachung der Handhabung, unabhangig 
voneinander zu verandern, beispielsweise um weitere Oberflachenbereiche 
durch zusatzlichen Bildaufnahmen vermessen zu konnen. 



10 

Aufgabe der Erfindung ist es daher, das Verfahren und die Vorrichtung zur 
. dreidimensionalen Vermessung von Objekten der eingangs beschriebenen Art zu 
schaffen, bei dem die Position und Orientierung der Aufnahmeeinheit und der 
- - Projektionseinheit zueinander bestimmt werden kann und fur den Fall, dad mehr als 
.15 .... eine.iAufnahme, zweckdieniich ist,. die. im Verfauf des Aufnahmevorgangs erfblgte 
unabhangige Bewegung der beiden Einheiten . zueinander zuverfolgen. Fur die 
Triangulationsberechnung mull dann der fur das jeweiiige Einzelbild ermittelte 
geometrische Zusammenhang zwischen Bildaufnahme und Musterprojektion 
berucksichtigt werden. 

20 

Die Aufgabe wird erfindungsgemaQ bei dem Verfahren dadurch gelost, da£i unter 
Verwendung 



a) eines flachigen elektronischen Bildwandlers ein Aufnahmevorgang durchgefuhrt 
25 wird; 

b) einer Strahlquelle und geeigneten optischen Mitteln ein Muster unter einem von 
der Aufnahmerichtung verschiedenen Winkel auf das zu vermessende Objekt 
projiziert wird; 

30 

c) einer geeigneten Einheit die Ausgangssignale des Bildwandlers digitalisiert 
werden und diese Daten einer Datenverarbeitungsaniage zur Verfugung gestellt 
werden; 
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d) e,ner Datenverarbeitungsanlage mittels geeigneter Schaltungen und/oder. 
Algonthmen aus den Bilddaten der Einze.bilder Qber 
Tnangulationsberechnungen 3D-Koordinaten von Punkten der Oberfiache des 
zu vermessenden Objekts bestimmt werden; 

weitere Einrichtungen derart vorgesehen und/oder die zum Einsatz kommenden 
Verfahren und/oder Einrichtungen derart ausgebildet werden, daG die Position und 
Ausnchtung der Aufnahmeeinheit und der Projektionseinheit zueinander bestimmt 
werden kann. Ist die Position und Ausnchtung beider Einheiten- fur die Aufnahme 
eines Einzelbildes zueinander bekannt, konnen in der bekannten Art und Weise fur 
eine Anzahl von Punkten der Oberfiache uber Triangulationsberechnung 3D- 
. Koordinaten ermittelt werden. 

Es ist erfindungsgemaG vorteiihaft zu diesem Zweck zusatzJiche Einrichtungen zu 
verwenden. urn die Position und Ausnchtung der Aufnahmeeinheit und der 
Projektionseinheit zueinander zu messen. 

Dies kann erfindungsgemaG vorteiihaft sowohl direkt als auch indirekt, sowohl tastend 
Oder mit den MeGmrtteln verbunden als auch beruhrungslos, beispielsweise auf 
optischem Weg erfolgen. 

Sollen nun. zusatzliche Informationen als zu den aus einer Einzelaufnahme 
akquirierten Informationen uber das Objekt erfaGt werden, muG die Aufnahmeeinheit 1 
in der Lage sein eine Folge von Einzelbildem aufzunehmen. Fur die 
erfindungsgemaGe Aufgabe, daG die Projektionseinheit und die Aufnahmeeinheit im 
Verlauf des Aufnahmevorgangs unterschiedlich bewegt werden, miissen die 
Einrichtungen und/oder Verfahren erfindungsgemaG vorteiihaft derart ausgebildet 
sein, daG auch fur die Folgebilder die geometrische Anordnung der Aufnahmeeinheit 
und der Projektionseinheit zueinander bestimmt werden kann. 

Dies kann erfindungsgemaG vorteiihaft dadurch gewahrieistet werden, daG die oben 
genannten MeGmittel auch zum Zeitpunkt der zusatzlich durchgefuhrten Aufnahmen 
ausgewertet und die MeGergebnisse in der beschriebenen Art und Weise in der 
Triangulationsberechnung berucksichtigt werden. 
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Fur den Fall, dafi in der Folge der Einzeibilder das Objekt derart aufgenommen wird, 
dad die aus dem Einzelbild ermittelten 3D-Koordinaten zu einem nennenswerten 
Anteil ubereinstimmende Oberflachensegmente beschreiben, konnen -wie oben 
5 beschrieben - die jeweiiigen 3D-lnformationen durch zum Stand der Technik 

gehdrende "Matching-Algoritmen" kombiniert werden. 

Erfolgt die Aufnahme der Einzeibilder in schneiler Folge, kann bei entsprechender 
Handhabung der Einheiten davon ausgegangen werden, daft - erstens - der Anteil 
10 ubereinstimmender Oberflachensegmente ausreichend ist und - zweitens - die 
geometrische Zuordnung der Aufnahmeeinheit und der Projektionseinheit zueinander 
- nur in MaGen gegenuber der vorherigen Aufnahme verandert wurde. 



War also die Zuordnung beider Einheiten bei beispielsweise der ersten Aufnahme 
15 • -bekannt und .konnte eine nennenswerte Anzahl von die Oberflache beschrefbenden 
3D-Koordinaten berechnet werden,- dann unterscheiden : sich" die in der nachsten 
Aufnahme enthaltenen Informationen in folgenden Komponenten: 

a) die 3D-Koordinaten der ubereinstimmenden Oberflachensegmente konnen 
20 linear in den drei Raumrichtungen versetzt abgebildet sein; 

b) die 3D-Koordinaten der ubereinstimmenden Oberflachensegmente konnen 
bezogen auf die drei Raumrichtungen rotativ versetzt abgebildet sein; 

25 c) die relative Position der Aufnahmeeinheit und der Projektionseinheit zueinander 
kann linear in den drei Raumrichtungen zueinander verandert worden sein; 

d) die relative Position der Aufnahmeeinheit und der Projektionseinheit zueinander 
kann bezogen auf die drei Raumrichtungen rotativ verandert worden sein; 



30 



Diese Veranderungsmoglichkeiten werden im folgenden zum Zwecke der 
Verallgemeinerung der Aussagen auch als "Freiheitsgrade" bezeichnet. 
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Zum Stand derTechnik in dem Fachgebiet der grafischen Datenverarbeitung gehdren 
Matching-Algorithmen, die aus unterschiedlichen Datensatzen von • 3D-Koordinaten 
die Schnittmenge derjenigen Daten bilden. die Gbereinstimmenden 
Oberflachehsegmenten zuzuordnen sind. und die die vorstehend gelisteten moglichen 
Veranderungen a) und b) variieren und derart optimieren, dad die Schnittmenge der 
jeweiligen 3D-TDaten beider Datensatze unter Berucksichtigung der entsprechenden 
Verschiebungen und Drehungen optimal ineinander passen. Voraussetzung hierfur 
ist. dafi die vorstehend gelisteten Veranderungen c) und d) bekannt sind. 

Aus der numerischen Mathematik sind Algorithmen bekannt. die eine endiiche Anzahl 
von Freiheitsgraden systematise^ variieren und unter Berucksichtigung eines Oder 
mehrerer Gutekriterien optimieren. Bei einer systematischen Variation potenziert sich 
jedoch der Rechenaufwand mit jedem zusatziichen Freiheitsgrad. 

Aus. der. Bionik sind im Zusammenhang mit dem Stichwort "Evolutionsstrategien" 
rekursiv gestufte Verfahren bekannt, die durch stochastische Variation der 
Freiheitsgrade und stufenweiser Auswahl der jeweils besten Variante unter der 
Voraussetzung, dall die auszuwertenden Informationsmengen im wesentlichen- 
ahnlich sind, erstaunlich schnell einer optimalen Losung zustreben. 

Es ist in diesem Sinne erfindungsgemaC vorteilhaft zur Losung der 
erfmdungsgemaden Aufgabe erweiterte Matching-Algorithmen derart zu verwenden. 
daG, 

-erstens- in einem rekursiven numerischen Prozefi zunachst mehrfach 
sogenannte "Nachkommen'-Varianten durch stochastische Variation der 
vorstehend genannten Freiheitsgrade c) und d) gebildet werden, 

- zweitens - fur jede Nachkommen-Variante der 3D-Datensatz unter 
Berucksichtigung der getroffenen Annahmen fur die Freiheitsgrade c) und d) 
aus den Bildinformationen durch Triangulation in bekannter Weise berechnet 
werden. 
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-drittens- fur jede Nachkommen-Variante in einer Matching-Berechnung in 
bekannter Art und Weise aus den unterschiedlichen Datensatzen von 3D- 
Koordinaten die Schnittmenge derjenigen Daten gebildet werden, die 
ubereinstimmenden Oberflachensegmenten zuzuordnen sind, und die 
5 vorstehend gelisteten Freiheitsgrade a) und b) derart variiert und optimiert 

werden, dafi die gebildete Schnittmenge der jeweiiigen 3D-Daten beider 
Datensatze sich optimal unter Berucksichtigung der jeweils gewahlten 
geometrischen Veranderung bezuglich der Freiheitsgerade a) und b) ineinander 
transformieren laGt, 

10 

- viertens - aus den Nachkommen-Varianten im Sinne einer Evolution diejenige 

ausgewahlt wird, die die maximal erreichte Gute hinsichtlich der 
Ubereinstimmung der dasselbe Oberflachensegment beschreibenden Daten 
" aus beiden Datensatzen aufweist, 

15 

- funftens - entsprechend der beschriebenen Evolutionsstrategie ausgehend von 

den getroffenen Annahmen fur die Freiheitsgrade c) und d) der zuvor 
ausgewahlten besten Nachkommen-Variante mit reduzierten Grenzen die 
Freiheitsgrade c) und d) wieder in verschiedenen Varianten neue Nachkommen 
20 der nachsten Generation emeut stochastisch variiert werden und entsprechend 

den o. g. funf Punkten - erstens bis funftens - solange rekursiv verfahren wird, 
bis die Variationsgrenzen der Freiheitsgrade c) und d) und die Unterschiede 
zwischen den Generationen bzgl. der in jedem Durchlauf erreichten maximalen 
Gute hinreichend klein werden. 

25 

Im Ergebnis sind alle benotigten Informationen mit ausreichender Genauigkeit 
bekannt. 

Es ist erfindungsgemaQ vorteilhaft, die Einrichtungen fur die Projektion des Musters 
30 und fur die Bildaufnahme derart auszubilden, dafi diese wahrend der Aufnahme des 
ersten Einzeibiides starr und in eindeutiger Position und Orientierung miteinander 
verbunden sind. Im weiteren Vertauf der Aufnahme wird die Verbindung geldst und 
damit eine voneinander unabhangige Bewegung ermogiicht. Die zusatzlichen 
dreidimensionalen Vermessungswerte des Objekts kdnnen dann fur jede neue 
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Bildaufnahme mit dem vorstehend beschriebenen erweiterten Match ing-Algorithmus 
-bereehnet werden und wie oben beschrieben zu einer Gesamtinformation kombiniert 



werden. 



' Es ist alternate erfindungsgemaQ vorteilhaft, die geometrische Anordnung der 
Projektionseinheit und der Aufnahmeeinheit zueinander dadurch zu messen daQ das 
verwendete Muster sowohl auf das Objekt als auch auf die Bildaufnahmeeinheit 
projmert wird und" das sich auf einer definierten starr mit der Bildaufnahmeeinheit 
verbundenen Oberflache ergebende Muster durch einen Bereich des Bildwandlers 
aufgenommen wird. In diesem Sinne kann der Bildwandler mit einem Teil seines { 
flachigen Sichtfelds das Objekt und mit dem anderen Teil das auf die 
Bildaufnahmeeinheit selbst projizierte Muster aufnehmen. 

Bei der Auswertung der Bildinformation wird dann erfindungsgemafi vorteilhaft 
zunachst aus der Verzerrung des auf die beispielsweise ebene und als Mattscfte&e 
ausgebildete Oberflache der Bildaufnahmeeinheit projizierten Musters die 
geometrische Anordung der beiden Einheiten zueinander uber Triangulation 
.*rrechnet und im weiteren unter Beriicksichtigung der Zuordnung der beiden 
Einheiten zueinander in oben beschriebener Art und Weise das Objekt raumlich 
vermessen. 



Aus der deutschen Patentanmeldung "Verfahren zur Erhbhung der Signifikanz der 
dreidimensionalen Vermessung von Objekten" vom 12. 9. 1996 desselben Anmelders 
ist ein Verfahren bekannt. bei dem kodierte Muster auf das Objekt zur Vermeidung 
von Mannigfaitigkeiten bei Triangulationsberechnungen projiziert werden. 

Es ist erfindunggemafj besonders vorteilhaft derart kodierte Muster fur die 
Bestimmung der Zuordnung der Projektionseinheit und der Aufnahmeeinheit 
zueinander zu verwenden. 



Aus der deutschen Patentanmeldung 196 36 354.3 desselben Anmelders ist ein 
Verfahren und eine Vorrichtung bekannt, bei dem durch synchron zur 
Bildwechselfrequenz des Bildwandlers gestellte optische Mittel Strahlengange 
abwechselnd wirksam Oder unwirksam geschaltet werden kbnnen. 



WO 98/11403 



PCT/DE97/01797 



-9- 

Es ist erfindungsgemaQ besonders vorteilhaft, die Blickrichtung der Aufnahmeeinheit 
in diesem Sinne beispielsweise durch zwei flachig wirksame LCD-Einheiten -die 
beispielsweise an zwei optischen Achsen eines Strahlteilers angeordnet werden - 
synchron zur Biidwechselfrequenz des Bildwandlers abwechselnd optisch durchlassig 
und undurchlassig zu schaiten. Dies hat den Vorteil, daB zum Zwecke der 
Bestimmung der geometrischen Zuordnung der Projektions- zur Aufnahmeeinheit das 
Sichtfeld des Bildwandlers und damit die Auflosung bei der Abbildung des Objekts 
nicht reduziert werden muG. 

Es ist erfindungsgemaS vorteilhaft zusatziich weitere optische Mittel zur Projektion 
eines beispielsweise unterschiedlichen Musters auf die Bildaufnahmeeinheit auf der 
Projektionseinheit anzuordnen. 

Es "kann altemativ zu der oben beschriebenen starr mit der Aufnahmeeinheit 
gekoppelten Oberflache erfindungsgemaG vorteilhaft das Muster auf eine getrennt 
angeordnete Oberflache mit bekannter raumlicher Erstreckung zum Zwecke der 
Bestimmung der Zuordnung der Aufnahme- und Projektionseinheit zueinander 
projiziert und auf dem Bildwandler der Aufnahmeeinheit abgebildet werden. 

Es kann erfindungsgemaG vorteilhaft eine zweite Aufnahmeeinheit zum Zwecke der 
Bestimmung der Zuordnung der Aufnahme- und Projektionseinheit zueinander 
angeordnet werden. 

Samtliche in dieser Erfindung beschriebenen Ausgestaltungen des Verfahrens und 
der Vorrichtung konnen erfindungsgemaS besonders vorteilhaft in vielfaltiger Art und 
Weise miteinander kombiniert werden. 

Die Vorrichtung zur dreidimensionalen Verrnessung von Objekten der eingangs 
beschriebenen Art lost die Aufgabe gemaG der Erfindung durch die Merkmale. dad 

a) mindestens ein flachiger elektronischer Bildwandler unter Verwendung einer zur 
Aufnahme von Bildem geeigneten Optik verwendet wird; 
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b) ; mindestens eine Einrichtung verwendet wird, die die Digitalisierung der 

Ausgangssignale des mindestens einen Bildwandlers bewirkt und diese Daten ' 
einer Datenverarbeitungsanlage zur Verfugung stellt; 

c) mindestens eine Einrichtung verwendet wird, die die Projektion eines Musters 
erlaubt; ' 

d) die Einrichtungen zur Projektion des Musters und zur Bildaufnahme unabhangig 
voneinander aufgebaut sind; 

e) mindestens eine Datenverarbeitungsanlage unter Verwendung geeigneter 
Schaltungen und/oder Algorithmen sich fur die Berechnung von 3D-Koordinaten 
nach dem Trianguiationsverfahren eignet und 

f) sich mindestens eine Einrichtung fur die Bestimmung der geometnschen 
Zuordnung zwischen der Projektionseinheit und der Aufnahmeeinheit eignet. 

Bei einer erfindungsgemaS besonders vorteilhaften Ausbildung der Vorrichtung eignet 
sich die Bildaufnahmeeinheit fur die Aufnahme von mindestens zwei 
aufeinanderfolgenden Bildem. 

Eine erfindungsgemafi besonders vorteilhafte Ausbildung der Vorrichtung sieht 
Einrichtungen vor, die die Daten von mindestens zwei Einzelbildem speichem ( 
konnen. 

Eine erfindungsgemaS besonders vorteilhafte Ausbildung der Vorrichtung sieht 
Einrichtungen vor, die die Daten von mindestens zwei Einzelbildem verarbeiten und in 
der Lage sind, diese mittels geeigneter Schaltungen und/oder Algorithmen zu 
kombinieren. 
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Weitere Vorteile, Merkmaie und Anwendungsmbglichkeiten der voriiegenden 
Erfindung ergeben sich aus der ' foigenden Beschreibung bevorzugter 
Ausfuhrungsbeispiele in Verbindung mit den anliegenden Zeichnungen Fig. 1, 2, 3 
und 4. Es zeigen: 

Fig. 1 ■ schematisch eine Ausfuhrungsform der Aufnahmeeinrichtung mit 

voneinander getrennter Projektions- und Aufnahmeeinheit, welche 
hier zum Zwecke der Aufnahme eines ersten Bildes unter definierten 
geometrischen Bedingungen bzgl. Projektions- und 
Aufnahmerichtung "mit Hilfe von Positionierstiften 
zusammengekoppelt sind. 

Fi 9-2 die gieiche Vomchtung wie Fig. 1, jedoch entkoppelt zur 

Durchfuhrung weiterer Aufnahmen. 

Fig. 3 : schematisch" eine weitere Ausfuhrungsform der 

Aufnahmeeinrichtung mit voneinander getrennter Projektions- und 
Aufnahmeeinheit, gekennzeichnet durch die zusatzliche Projektion. 
desselben Musters uber einen zweiten Strahiengang der 
Projektionseinheit direkt auf eine Mattscheibe der Aufnahmeeinheit, 
dies zum Zwecke der standigen Berechnung ihrer geometrischen 
Situation zueinander. 



Fi 9- 4 beispielhaft eine Ausfuhrungsform eines kodierten Musters. 

Die Projektions- und Aufnahmeeinheiten in den Ausftihrungsformen gemaB Fig. 1,2 
und 3 sind zur Vereinfachung der Beschreibung ohne bekannte, selbstverstandliche 
Vorrichtungsteile nur schematisch wiedergegeben. Zur Vereinfachung der 
Beschreibung wurde zudem darauf verzichtet Ausfuhrungsformen von 
Vorrichtungsteilen. die zum Stand der Technik gehoren, wie bestimmte 
Ausfuhrungsformen von Verbindungen Oder der Fixierung von Teilen t im Detail zu 
beschreiben. 
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In der Ausfuhrungsform der Fig. 1 sind mit dem Grundaestell (2 3) der 
Projektionseinheit starr verbunden: Die Strahlquelle (2.7). die optischen Mittel (2 4' 
und 2.6) und der Mustertrager (2.5). In der hier gezeigten Ausfuhrungsform handelt es 
s,ch be. den optischen Mitteln um eine Strahlquelle (2.7), mit welcher sich das Objekt 
flachig beleuchten lafit. einen Kondensor (2.6) sowie einen Mustertrager, auf welchem 
sich das Muster (eingeatzt oder in Form eines Dias) befindet. Der Tracer (2.2) ist aus 
hygienischen Griinden (zum Zwecke der Desinfektion) losbar mit dem Grundgestell 
(2.3) verbunden. Die Verbindung des Tragers (2.2) mit dem Grundgestell (2.3) ist 
derart ausgebildet. daB nach einem Wechsel des Tragers (2.2) sich dessen 
vorgesehene geometrische Position exakt (ohne Justage) wieder ergibt. Das auf dem 
Mustertrager (2.5) befindliche Muster wird vermittels einer Strahlumlenkung (2.1) auf 
das aufzunehmende Objekt (1.1) projiziert. Um fur die 3D-Berechnung relevante 
Informationen zu bekommen. ist ein projiziertes Linienmuster quer zu der von dem 
Triangulationswinkel aufgespannten Ebene gestreift. 

Mit dem Grundgestell (3.3) der Aufnahmeeinheit sind starr verbunden: Das optische 
Mittel (3.4). der elektronische Bildwandler (3.5) sowie die Position ierstifte (3.10). Der 
Trager (3.2) ist aus hygienischen Griinden (zum Zwecke der Desinfektion) losbar mit 
dem Grundgestell (3.3) verbunden. Die Verbindung des Tragers (3.2) mit dem 
Grundgestell (3.3) ist derart ausgebildet. dad nach einem Wechsel des Tragers (3.2) 
sich dessen vorgesehene geometrische Position exakt (ohne Justage) wieder ergibt. 
Der elektronische Bildwandler (3.5) ist als CCD-Array ausgebildet und uber die 
elektrischen Verbindungen (3.9) mit der Ansteuerheit (3.6), dem A/D-Wandler (3.7) '■ 
und der Datenverarbeitungseinheit (3.8) verbunden. Die vom Objekt (1.1) reflektierten 
Strahlen werden vermittels des optischen Mittels (3.4), in diesem Fall eines Objektives 
auf dem Bildwandler (3.5) abgebildet. 

Zur Durchfuhrung der ersten Aufnahme werden Projektions- und Aufnahmeeinheit 
mithilfe zweier Positionierstifte (3.10) in eine definierte Position zueinander gebracht. 
Der somit bekannte Triangulationswinkel eriaubt die Berechnung der 3D-Koordinaten 
des aufaenommenen Bildes. 
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Die Fig. 2 zeigt die gleiche Projektions- und Aufnahmeeinheit, jedoch in entkoppeltem 
Zustand nach Durchfuhrung der ersten Aufnahme einer Bildfolge von Aufnahmen 
desselben Objekts. Es konnen nun weitere Bilder von zusaizlichen Bereichen des 
Objekts und/oder aus veranderter Blickrichtung aufgenommen werden. Infolge der 
hohen Aufnahmefrequenz. beispielsweise in der gezeigten Ausgestaltung von 50 Hz, 
kann von einer hohen, in jedem Fall ausreichenden Uberlappung der Bilder 
ausgegangen werden. welche es eriaubt, mittels geeigneter Matching-Algorithmen 
und numenscher Verfahren die sich gegenuber der jeweils vorhergehenden 
Aufnahme verandernde relative Position von Projektions- und Aufnahmeeinheit 
zueinander als auch zum Objekt und damrt auch beispielsweise den jeweiiig 
relevanten Triangulationswinkel zu berechnen. Dies ermoglicht die Erfassung von 3D- 
Koordinaten eines Objektes, welche mit einer Einzelaufnahme nicht hatten erfaUt 
werden konnen. 

Die Fig. 3 zeigt eine Ausfuhrungsform, bei welcher vermittels der Projektion dessefben 
Musters uber einen zwerten - aufierftalb der (invasiv) in Anwendung kommenden 
Vomchtungsteile - gefuhrten Strahlengang von der Projektionseinheit zur 
Aufnahmeeinheit die relative Position von Projektions- und Aufnahmeeinheit 
zueinander zum Zeitpunkt jeder Aufnahme bekannt ist. Bei dieser Ausfuhrungsform 
wird das Muster uber einen Strahlteiler (2.8) urn 90° Grad umgelenkt und durch eine 
an der Projektionseinheit befindliche Linse (2.9) mit divergentem Strahlengang auf 
eine auf der Aufnahmeeinheit angeordnete Mattscheibe (3.12) projiziert. Das sich 
hierdurch ergebende Abbild eines Teils des Musters wird uber eine Strahlumlenkung 
.(3.11) urn 90° Grad derart in den Strahlengang des Tragers der Aufnahmeeinheit 
gelenkt. dafi es auf einer Halfte des flachigen Sichtfeldes des elektronischen 
Bildwandiers (3.5) abgebildet wird. Durch Auswertung der signifikaten 
Mustersegmente des Abbiides vermittels geeigneter numenscher Verfahren in der 
Datenverarbeitungseinheit (3.8) ist die relative Lage von Projektions- zu 
Aufnahmeeinheit -fur jede einzelne Aufnahme bekannt. Die erreichbare Genauigkeit 
der 3D-Koorcinaten kann mit dieser Ausfuhrungsform gegenuber der vorstehend 
beschrieben insbesondere bei komplexen Objekten, deren 3D-Koordinaten sich nur 
durch die Auswertung einer Vielzahl von Aufnahmen berechnen lassen signifikant 
gesteigert werden. 
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D.e F,g. 4 zeigt beispielhaft eine Ausfuhrungsform des Musters, durch we.che 
aufgrund der unterschied.ichen Ausfuhrung eines jeden einzelnen konzenthschen 
Elements (Kodierung) Mannigfaltigkeiten bei der Tnangu.ationsberechnuno vermieden 

werden konnen. 



Bne besonders vortei.hafte Anwendung der Erfindung ist im invasiv-medsinischen 
Bere,ch zu sehen. Fur die optische dreidimensionale Erfassung beispielsweise eines 
Organs rm-menschlichen Korpers fuhrt man den vorderen Teil des Tragers (2 3) sowie 
des Tragers (3.2) beispieisweise durch die Bauchdecke ein. starlet den 
Aufnahmevorgang durch ein in den Abbildungen nicht gezeigtes, im Rahmen der 
Datenverarbeitungseinheit (3.8) verfugbares Betatigungselement und bewegt im 
Veriauf des Aufnahmevorgangs die Projektions- und Aufnahmeeinheit derart da* 
nach und nach alle relevanten Oberflachenbereiche des Objekts (1.1) sowohi auf dem 
B.ldwandler (3.5) abgebildet ais auch gleichermaGen von der Projektion des 
,L.n,enmu S ters erfaSt werden. Man beendet den Aufnahmevorgang durch eine weitere 
Betdtigung des vorstehend genannten Betitigungselements. 

In der Folge der aufgenommenen Einzelbildinformationen bef.nden sich jetzt die 
Abbilder des aufgrund der Oberflachengestalt des Objekts (1.1) verzeichneten 
Unienmusters. Aus der Verzeichnung des linienmusters lassen sich bei Kenntnis des 
optischen Strahlengangs und unter Berucksichtigung der geometrischen Ausbiidung 
des projizierten Linienmusters fur die entsprechenden Einzelaufnahmen fur eine ' 
Vielzahl von Stiitzpunkten 3D-Koordinaten errechnen. Aus der Folge der den 
Einzelbildern zugeordneten 3D-Koordinaten lassen sich im weiteren die 3D- 
Koordinaten in der oben beschriebenen Art und Weise kombinieren. so daG im 
Ergebnis trotz der Begrenzungen der Projektionsflache und des Sichtfelds der 
Aufnahmeeinheit die 3D-Koordinaten der gesamten untersuchten Oberflache 
voriiegen. Hierbei sind Informationslucken aufgrund von Hinterschneidungen nicht 
mehr vorhanden. Durch eine online-Berechnung und -Anzeige der jeweiligen 
Zwischenergebnisse kann der Bedienerzudem die Fuhrung der Aufnahmevorrichtung 
von Hand optimieren. 
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Die hier gezeigten Ausfuhrungsfonmen zeichnen sich u. a. dadurch aus, daG 

a) in der Projektions- und Aufnahmeeinheit keine bewegten Telle Verwendung 
finden; 

5 

b) der optische Aufbau einfach ausgebildet ist; 

d) sich auEer fur die Trager (2.2 und 3.2), die Grundgestelle (2.3 und 3.3) und den 
Mustertrager zur Projektion des Musters (2.5) handelsubliche Hardware- 
10 Komponenten verwenden lassen; 

Aus der deutschen Patentanmetdung 196 36 354.3 desseiben Anmelders ist ein 
Verfahren und eine Vomchtung bekannt, * bei dem durch synchron zur 
Bildwechselfrequenz des Bildwandiers optische Mittel derart gestellt werden, daS 
15 abwechselnd ein Muster auf die zu yermessende Oberflache projiziert und die 
betrachtete Oberflache voltstandig ausgeleuchtet wird. 

Bei einer erfindungsgemaB besonders vorteilhaften Ausbiidung der 
Aufnahmevbmchtung werden in dem vorstehenden Sinne zusatziiche Mittel derart 
20 angeordnet und gestellt, dad aus einer Folge von Einzelbildem sowohi 3D- 
Informationen als auch beispielsweise farbige Ansichten der erfaBten Oberflache 
gewonnen werden konnen. 



25 



30 
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Bezugszeichenliste 
Objekt mit dreidimensionaler Erstreckung 

Projektionseinheit 
Strahlumlenkung (Spiegel) 

Trager (hier ausgefuhrt als Korper aus optischem Gias) 

Grundgesteli 

Optische Mittel (Objektiv) 

Mustertrager (mit eingeatztem Muster oderz. B. Dia) 

Optische Mittel (Kondensor) 

Strahlquelle 

Strahlteiler 

1 Optische Mittel (Linse) 

Aufnahmeeinheit 
Strahlumlenkung (Spiegel) 

Trager (hier ausgefuhrt als Korper aus optischem Gias) 

Grundgesteli 

Optische Mittel (Objektiv) 

Elektronischer Bildwandler (CCD-Array) 

Ansteuereinheit 

A/D-Wandier (Frame-Grabber) 

Datenverarbeitungseinheit 

Eiektrische Verbindungen 

Positionierstifte 

Strahlumlenkung (Umlenkprisma) 
Mattscheibe 
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Patentanspruche 

1.* Verfahren zur dreidimensionalen Vermessung von Objekten (1.1) durch 
optische Aufnahmen, aufprojizierte Muster und Trianguiationsberechnungen, 
unter Verwendung mindestens eines elektronischen Bildwandlers (3.5) mit 
flachigem Sichtfeld, mindestens eines optischen Mittels (3.4) fur die Abbiidung 
des Objektes auf dem Bildwandler (3.5) und mindestens einer Strahlquelie (2.7) 
und geeigneter optischer Mittel (2.4, 2.5 und 2.6) fur die Projektion von Mustern, 
dadurch gekennzeichnet, da& 

a) die Mittel (2.1 bis 2.7) fur die Projektion des Musters von den Mitteln (3.1 
bis 3.5) fur die Bildaufnahme raumlich getrennt, nicht mit ihnen verbunden 
und ihnen gegenuber in alien Freiheitsgraden bewegiich sind. 

15 b) fur mindestens eine Bildaufnahme im Verlauf des Aufnahmevorgangs die 

geometrische Anordnung der Mittel (2.1 bis 2.7) fur die Projektion des 
Musters gegenuber den Mitteln (3.1 bis 3.5) fur die Bildaufnahme nicht 
von vomherein bekannt ist und unter Verwendung weiterer Mittel bestimmt 
werden muB. 

20 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daB es sich bei den 
weiteren Mitteln, die zur Bestimmung der geometrischen Anordnung der Mittel 
(2.1 bis 2.7) fur die Projektion des Musters gegenuber den Mitteln (3.1 bis 3.5) 
fur die Bildaufnahme verwendet werden, um Mittel zur Vermessung dieser 

25 geometrischen Anordnung handelt. 

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daB die Vermessung 
der geometrischen Anordnung der Mittel (2.1 bis 2.7) fur die Projektion des 
Musters gegenuber den Mitteln (3.1 bis 3.5) fur die Bildaufnahme auf optischem 

30 Wege erfolgt. 
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4. Verfahren nach Anspruch 3, dadurch gekennzeichnet daG fur die optische 
Vermessung der geometrischen Anordnung der Mittel (2.1 bis 2.7) fur die 
Projektion des Musters gegenuber den Mitteln (3.1 bis 3.5) fur die Bildaufnahme 
Triangulationsberechnungen unter Verwendung markanter Muster zum Einsatz 
kommen. 

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet daG die markanten 
Muster fur die optische Vermessung der geometrischen Anordnung der Mittel 
(2.1 bis 2.7) fiir die Projektion des Musters gegenuber den Mitteln (3.1 bis 3.5) 
fur die Bildaufnahme durch Projektion gebildet werden. 

5. Verfahren nach Anspruch 5. dadurch gekennzeichnet daG im Strahlengang 
der Projektion des Musters fur die Vermessung des Objekts (1.1) ein Strahlteiler 
(2.8) angeordnet ist, sodaG das auf dem Mustertrager (2.5) aufgebrachte Muster 
gleicherrnaGen zur Vermessung des Objekts verwendet wird und auf efnerstarr 
mit dem Grundgestell (3.3) verbundenen und in ihrer raumlichen Erstreckung 
bekannten OberflSche (3. 1 2) abgebildet wird. 

Verfahren nach Anspruch 6, dadurch gekennzeichnet, daG durch optische 
Mittel (3.11) das auf die Oberflache. (3.12) projizierte Muster auf dem 
Bildwandler (3.5) abgebildet wird. 

Verfahren nach Anspruch 7, dadurch gekennzeichnet, daG es sich bei der 
Oberflache (3.12) urn eine Mattscheibe handelt. 



9. 



Verfahren nach Anspruch 7. dadurch gekennzeichnet, daG es sich bei den 
optischen Mitteln (3.1 1) urn einen Spiegel handelt. 
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.10. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dad 

a) es sich bei den optischen Mittein (3.11) urn einen Strahlteiler handelt, der 
• : den gesamten Strahlengang abdeckt, 

b) mindestens zwei Einzeiaufnahmen im Veriauf des Aufnahmevorgangs 
angefertigt werden und 

c) - . zusatzlich schaltbare optische Mittel an zwei optischen Achsen des 
10 Strahlteilers angeordnet werden, die synchron zur Bildwechselfrequenz 

des Bildwandlers abwechseind optisch durchiassig und undurchlassig 
■ geschaltet werden. 



15 



11. Verfahren nach Anspruch 1 t dadurch gekennzeichnet, dafi 

a) - v; mindestens' zwei Einzeiaufnahmen im Veriauf des Aufnahmevorgangs 

angefertigt werden, 

b) die geometrische Anordnung der. Mittel (2.1 bis 2.7) fur die Projektion des 
20 Musters gegenuber den Mittein (3.1 bis 3.5) fur die Bildaufnahme fur die 

Aufnahme eines Einzelbildes bekannt ist, 

c) fur wesentliche Bereiche des Objekts, fur die bereits in dieser 
Bildaufnahme - die mit bekannter geometrischer Anordnung der Mittel (2.1 

25 bis 2.7) fur die Projektion des Musters gegenuber den Mittein (3.1 bis 3.5) 

fur die Bildaufnahme durchgefuhrt wurde eine ausreichende Anzahl von 
3D-Koordinaten von Oberflachenbereichen gebildet werden konnte, fur die 
auch in den nachfolgenden Einzelbiidem entsprechende Bildinformationen 
vorliegen und 



30 



c) die geometrische Anordnung der Mittel (2.1 bis 2.7) fur die Projektion des 
Musters gegenuber den Mittein (3.1 bis 3.5) fur die Bildaufnahme aus dem 
Vergleich der aus den Einzelbiidem stammenden Daten bezuglich der 
Informationen hinsichtlich gleichermafien abgebildeter 
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Oberflachenbereiche des Objekts unter Verwendung numerischer 
Algorithmen berechnet wird. 

12. Verfahren nach Anspruch 11. dadurch gekennzeichnet daG die geometrische 
Anordnung der Mittel (2. 1 bis 2.7) fur die Projektion des Musters oegenuber den 
Mitteln (3.1 bis 3.5) fur die Bildaufnahme fur die Aufnahme eines Einzelbildes 
dadurch bekannt ist, daG die Positionierstifte (3.10) abgesteckt wurden. 



13. 



Verfahren nach Anspruch 11. dadurch gekennzeichnet daft es sich bei den 
verwendeten numerischen Algorithmen. die die geometrische Anordnung der 
Mittel (2.1 bis 2.7) fur die Projektion des Musters gegenuberden Mitteln (3.1 bis 
3.5) fur die Bildaufnahme berechnen, urn Verfahren nach einer optimierenden 
Evolutionsstrategie handelt. 



Verwendung der Verfahren nach einem der Anspruche 1 bis 13 fur die 
medizinische Diagnostik, Therapie Oder Dokumentab'on. 

Vorrichtung nach einem der Anspruche 1 bis 13. dadurch gekennzeichnet 
daG mindestens ein Bildwandler (3.5) als CCD-Array ausgebildet ist. 

Vorrichtung nach einem der Anspruche 1 bis 13 sowie 15. dadurch 
gekennzeichnet daG das Grundgestell (2.3) oder der Trager (2.2) mindestens 
zwei der Mittel (2.4 bis 2.7) starr verbindet. 

Vorrichtung nach einem der Anspruche 1 bis 13 sowie 15 und 16. dadurch 
gekennzeichnet. daG das Grundgestell (3.3) oder der Trager (3.2) die Mittel 
(3.4 und 3.5) starr verbindet. 



Vorrichtung nach einem der Anspruche 1 bis 13 sowie 15 bis 17. dadurch 
gekennzeichnet. daG der Trager (2.2) mit seinen Aufbauten mit dem 
Grundgestell (2.3) losbar verbunden und im ubrigen derart ausgebildet ist, daG 
er sich fur eine separate Sterilisation bzw. Desinfektion eignet. 
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-19. Vorrichtung nach einem der Anspruche 1 bis 13 sowie 15 bis 18, dadurch 
gekennzeichnet, dad der Trager (3.2) mit seinen Aufbauten mit dem 
Gnjndgesteli (3.3) losbar verbunden und im ubrigen derail ausgebildet ist, dad 
er sich fur eine separate Sterilisation bzw. Desinfektion eignet. 

5 

20. Vorrichtung nach einem der Anspruche 1 bis 13 sowie 15 bis 19, dadurch 
gekennzeichnet, da(J an dem Trager (3.2) mindestens ein Linsensystem zur 
optischen Abbildung des Objekts (1.1) auf dem Bildwandler (3.5) befestigt ist. 



10 21. Vorrichtung nach einem der Anspruche 1 bis 13 sowie 15 bis 20. dadurch 
gekennzeichnet, daQ an dem Trager (2.2) mindestens ein Linsensystem zur 
optischen Projektion des Musters auf das Objekt (1.1) befestigt ist 

22. Vorrichtung nach einem der Anspruche 1 bis 13 sowie 15 bis 21, dadurch. 
15 gekennzeichnet daS der Trager (2.2) mindestens uber eine optische 

Umlenkeinrichtung (2. 1 ) verfugt. 

23. Vorrichtung nach einem der Anspruche 1 bis 13 sowie 15 bis 22, dadurch 
gekennzeichnet daQ der Trager (3.2) mindestens uber eine optische 

20 Umlenkeinrichtung (3. 1 ) verfugt. 



24. Verwendung der Vorrichtungen nach einem der Anspruche 15 bis 23 fur 
invasive medizinische Zwecke. 



25 
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A process and device for the three-dimensional measurement of objects 

The invention concerns a process for the three-dimensional measurement of objects 
through optical exposures, projected patterns, and calculations of triangulation, in 
which the devices for the projection of the pattern and for the image capture are 
constructed separately from one another and can, for the measurement, be positioned 
independently of one another. 

Furthermore, the invention concerns a device for such a process. 

The use of processes that work on an optical basis offer a multiplicity of advantages 
for the purpose of measuring. A measurement can be carried out quickly and without 
contact. Electronic image converters, such as CCD arrays, for example, the output 
signals of which can be stored or evaluated after digitalization, already belong to the 
state of the art. 

Processes and devices for the representation and three-dimensional optical 
measurement of spatial surfaces are already known. These are based upon 
triangulation processes in which patterns of points, lines, or any other chosen 
patterns are projected, at a certain angle, onto the surface under consideration, and 
the projected patterns are captured, under another viewing angle, by means of an 
optical device and an image converter. The known geometry between the direction 
of projection and the direction of capture permits the three-dimensional calculation 
of support points of the surface. 

If a uniform pattern of lines is projected onto an object with spatial extensions, for 
example, then, because of the surface shape of the object, a distorted line pattern is 
brought about in a direction of view which is different from the direction of 
projection. If the object is represented from this direction of consideration on a CCD- 
array by means of a suitable optical device, and the image signals are digitalized and 
made available to a data processing unit, then it is possible to identify the lines at the 
various points of the image and, given a knowledge of the optical path of the rays, 
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and under consideration to the geometrical configuration of the projected pattern of 
lines, to compute the 3D coordinates by means of triangulation. 

In the capture of several individual images with different directions of capture, it is 
already state of the art to combine the partial information obtained about three- 
dimensional surfaces by means of the 3D coordinates of corresponding surface 
segments into a total information by means of so-called "matching-algorithms". 

It is now desirable to do the following for endoscopic investigations, for example: 

a) To use a separate unit for the projection of the pattern and for the capture of 
the image, and to use this with an orientation that is freely selectable in 
relation to the surface to be measured. In order to obtain relevant data for the 
calculation of the triangulation, a minimum angle between the orientation of 
both of the units should not be fallen short of in this connection; 

b) Insofar as a series of individual images is captured during the capture process, 
to change the position and orientation of both of the units independently of one 
another in relation to the object, such as for the simplification of the handling, 
for example, in order to be able to measure additional surface areas by means 
of additional image captures. 

It is thus the task of the invention to create the process and the device for the three- 
dimensional measurement of objects of the type just described, in which the position 
and orientation of the image capture unit and of the projection unit can be adjusted 
to one another and, in the event that more than one capture is useful for this 
purpose, to follow the independent movement of the two units towards one another 
that has taken place during the course of the capture process. The geometrical 
connection between the image capture and the pattern projection determined for the 
specific individual image must then be taken into consideration for the calculation of 
triangulation. 

This task is solved, in accordance with the invention, through the fact that: 
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a) Through the use of an electronic surface image converter, a capture process 
is carried out; 

b) Through the use of a source of beams and suitable optical devices, a pattern 
is projected onto the object at an angle which is different from the direction of 
capture that is to be measured; 

c) Through the use of a suitable unit, the output signals of the image converter 
are digitalized, and these data are made available to a data processing 
apparatus; 

d) Through the use of a data processing apparatus, 3D coordinates of the points 
of the surface of the object to be measured are determined, by means of 
suitable circuits and/or algorithms, through calculations of triangulation from 
the image data of the individual images; 

~ while additional devices are provided in such a manner, and/or the process coming 
for use and/or the devices are configured in such a manner, that the position and the 
orientation of the image capture unit and of the projection unit to one another can be 
determined. If the position and the orientation of both units to one another is known, 
then, for the capture of an individual image, 3D coordinates can be determined by 
means of a triangulation calculation, in the known manner and method, for a number 
of points of the surface. 

It is, in accordance with the invention, advantageous to use additional devices for this 
purpose in order to measure the position and the orientation of the image capture unit 
and of the projection unit to one another. 

In accordance with the invention, this can be carried out, in an advantageous manner, 
both directly as well as indirectly, both by means of scanning or in connection with 
measuring means, as well as without contact, such as by optical means, for example. 
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If information on the object which is additional to that information acquired from an 
individual exposure is now to be determined, then the image capture unit must be 
able to record a sequence of individual images. For the task in accordance with the 
invention, namely, that the projection unit and the. image capture unit are moved 
differently during the course of the image capture process, the devices and/or 
processes in accordance with the invention must, in an advantageous manner, be 
configured in such a manner that the geometrical configuration of the image capture 
unit and of projection unit can be adjusted to one another for the sequential images. 

This can, in accordance with the invention, be advantageously guaranteed through 
the fact that the above-stated measuring devices are also evaluated at the point in 
time of the exposures that are additionally carried out, and the measuring results are 
taken into consideration, in the way and manner described above, in the calculation 
of triangulation. 

For the event that, in the sequence of the individual images, the object is recorded 
in such a manner that the 3D coordinates determined from the individual images 
describe surface segments that are in agreement to a considerable degree, then as 
has been described above - the specific 3D information can be combined by means 
of "matching algorithms" corresponding to the state of the art. 

If the capture of the individual images takes place in rapid sequence, then, with a 
corresponding handling of the units, it can be assumed that - first of all - the portion 
of corresponding surface segments is sufficient and secondly - that the geometrical 
correspondence of the image capture unit and of the projection unit to one another 
has only been altered in extent in relation to the previous capture. 

If, therefore, the coordination of both units in the first capture was known, for 
example, and if a considerable number of 3D coordinates describing the surface could 
be computed, then the information contained in the next capture differs in the 
following components: 
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a) The 3D coordinates of the corresponding surface segments can be represented 
displaced linearly in the three spatial directions; 

b) The 3D coordinates of the corresponding surface segments can be represented 
displaced in a rotational manner in relation to the three spatial directions; 

c) The relative position of the image capture unit and of the projection unit to one 
another can be changed linearly in the three spatial directions; 

d) The relative position of the image capture unit and of the projection unit to one 
another can be changed in a rotational manner in relation to the three spatial 
directions. 

For the purpose of the generalization of expressions, these possibilities of change will 
also be termed in the following as "degrees of freedom". 

Matching algorithms - which form, from the different data records of 3D coordinates, 
the intersections of that data which are to be assigned to corresponding surface 
segments, and which vary and optimize the possible changes (a) and (b) listed above 
in such a manner that the intersection of the specific 3D data of both data records 
fit optimally with one another in regard to the corresponding displacements and 
rotations - already belong to the state of the art in the technical area of graphic data 
processing. One presupposition for this is that the changes (c) and (d) listed above 
are known. 

Algorithms which systematically vary a finite number of degrees of freedom and 
optimize these in accordance with one or more criteria of quality are already known 
from numerical mathematics. In a systematic variation, however, the computational 
expense is raised to a higher power with every additional level of freedom. 

Recursively gradated processes which, through a stochastic variation of the degree 
of freedom and a step-wise selection of each specifically best variant, under the 
assumption that the quantities of information that are to be evaluated are essentially 
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similar, reach an optimal solution surprisingly quickly, are already known, in 
connection with the phrase "evolution strategies", from the field of bionics. 

In this sense, it is, in accordance with the invention, advantageous for the solution 
of the task in accordance with the invention to use expanded matching algorithms in 
such a manner that: 

First of all - In a recursive numerical process, multiple so-called "successor" 
variants are first formed through the stochastic variation of the above-stated 
degrees of freedom (c) and (d); 

Secondly - For every successor variant, the 3D data records are, in the 
known manner, computed from image information by means of triangulation, 
in accordance with the assumptions made for the degrees of freedom (c) and 
(d); 

Thirdly - For every successor variant, the intersections of those data which 
are to be assigned to the corresponding surface segments are formed, in the 
known way and manner, in a matching computation from the different data 
records of 3D coordinates, and the above-listed degrees of freedom (a) and (b) 
are varied and optimized in such a manner that the intersections formed from 
the specific 3D data of both data records can, under consideration of the 
specifically-selected geometrical change, be optimally transformed into one 
another in relation to the level of freedom (a) and (b); 

Fourthly - Out of all of the successor variants, that one which has the 
maximum value achieved in regard to the agreement of the data from both data 
records describing the same surface segment is selected in the sense of an 
evolution; 

Fifthly - Corresponding to the evolution strategy described, and proceeding 
from the assumptions that were made for the degrees of freedom (c) and (d) 
of the previously-selected best successor variants with reduced boundaries of 
the degrees of freedom (c) and (d), new successors of the next generation are 
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again stochastically varied in different variants and, in a manner corresponding 
to the above-stated five points -- first to fifth -- it is then proceeded in a 
recursive manner for long enough until the boundaries of variation of the 
degrees of freedom (c) and (d), and the differences between the generations 
in regard to the maximum value achieved in every passage, are sufficiently 
small. 

As the result, all information required is known with sufficient precision. 

It is, in accordance with the invention, advantageous to construct the devices for the 
projection of the pattern and for the capture of the image in such a manner that these 
are connected rigidly and in an unambiguous position and orientation with one 
another during the capture of the first individual image. During the further course of 
the capture, the connection is detached and a movement independent of one another 
is thereby made possible. The additional three-dimensional measurement values of 
the object can then be computed, for every new image capture, with the expanded 
matching algorithm described above and, as described above, combined into a total 
information. 

In an alternative manner, it is, in accordance with the invention, advantageous to 
measure the geometrical relation of the projection unit and of the image capture unit 
to one another through the fact that the pattern used is projected both onto the 
object as well as onto the image capture unit, and the pattern resulting on a defined 
surface rigidly connected with the image capture unit is recorded by one area of the 
image converter. In this sense, the image converter can record the object with one 
part of its areal field of view, and record the pattern projected onto the image capture 
unit with the other part. 

In the evaluation of the image information, the geometrical position of the two units 
to one another is, in accordance with the invention, first of all advantageously 
computed from the distortion of the sample projected onto the surface of the image 
capture unit, which is, for example, flat and constructed as ground glass disk, by 
means of triangulation, and the object is, in addition, spatially measured, in relation 
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to the assignment of both of the units to one another, in the way and manner as 
described above. 

A process in which, in order to prevent multiplicities in the calculations of 
triangulation, coded patterns are projected onto the object, is already known from the 
German patent application "A process for increasing the significance of the three- 
dimensional measurement of objects" of the date September 12, 1996 by the same 
applicant. 

It is, in accordance with the invention, particularly advantageous to use coded 
patterns for the determination of the coordination of the projection unit and of the 
image capture unit to one another in such a manner. 

A process and a device in which beam paths can be effectively or ineffectively 
switched in an alternating manner by means of optical means placed synchronously 
with the alternating image current of the image converter are already known from the 
German patent application number 196 36 354.3 by the same applicant. 

It is, in accordance with the invention, particularly advantageous to synchronously 
switch the direction of view of the image capture unit, such as by means of two 
surface-active LCD-units - which are positioned on two optical axes of a beam 
splitting devices, for example -- with the image alternating frequency of the image 
converter in such a manner that they are alternately optically permeable and non- 
permeable. This has the advantage that, for the purpose of determining the 
geometrical coordination of the projection unit with the image capture unit, the field 
of view of the image converter, and thereby the resolution in the representation of the 
object, does not have to be reduced. 

It is, in accordance with the invention, advantageous to additionally provide further 
optical devices for the projection of a pattern which is different, for example, onto the 
image capture unit on the projection unit. 
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In an alternative manner to the surface rigidly connected with the image capture unit 
that has been described above, the pattern can, in accordance with the invention, be 
advantageously projected onto a separately-positioned surface with a known spatial 
extension, in order to determine the coordination of the image capture unit and of the 
projection unit with one another, and can be represented on the image converter of 
the image capture unit. 

A second image capture unit for the purpose of determining the coordination of the 
image capture unit and of the projection unit with one another can advantageously 
be provided in accordance with the invention. 

All of the configurations of the process and of the device that are described in this 
invention can, in a particularly advantageous manner, be combined with one another 
in multiple ways and manners in accordance with the invention. 

The device for the three-dimensional measurement of objects of the type described 
above solves the task in accordance with the invention through the characteristics 

At least one electronic surface image converter which uses an optical device 
suitable for the capture of images is used; 

At least one device which carries out the digitalization of the output signals of 
the at least one image converter and makes these data available to a data 
processing apparatus is used; 

At least one device which permits the projection of a pattern is used; 

The devices for the projection of the pattern and for the capture of the image 
are constructed independently of one another; 

At least one data processing apparatus which uses suitable circuits and/or 
algorithms is suited for the calculation of 3D coordinates in accordance with 
the triangulation process; and: 



that: 
a) 

b) 

c) 
d) 

e) 
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f) At least one device is suited for the determination of the geometrical 
coordination between the projection unit and the image capture unit. 

In one configuration of the device in accordance with the invention which is 
particularly advantageous, the image capture unit is suitable for the capture of at least 
two successively following images. 

One configuration of the device in accordance with the invention which is particularly 
advantageous provides devices which can store the data of at least two individual 
images. 

One configuration of the device in accordance with the invention which is particularly 
advantageous provides devices which process the data of at least two individual 
images, and are able to combine these by means of suitable circuits and/or 
algorithms. 

Further advantages, characteristics, and possibilities of application of the present 
invention result from the following description of preferred examples of 
implementation in connection with the attached diagrams, Figures 1, 2, 3 and 4. 
These depict the following: 

Figure 1 : In schematic form, one form of implementation of the image capture 
device with the projection [unit] and image capture unit separate from 
one another, which are here connected together, with the help of 
positioning rods, for the purpose of the capture of a first image under 
defined geometrical conditions in relation to the direction of projection 
and capture. 

Figure 2: The same device as in Figure 1, but decoupled in order to carry out 
further captures. 



Figure 3: 



In schematic form, one further form of implementation of the image 
capture device with the projection [unit] and image capture unit 
separated from one another, characterized by the additional projection 
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of the same pattern by way of a second beam path of the projection unit 
directly onto a ground glass disk of the image capture unit, with this 
being for the purpose of the continuous calculation of their geometrical 
situation to one another. 

Figure 4: By way of example, one form of implementation of a coded pattern. 

In the forms of implementation in accordance with Figures 1 , 2 and 3, the projection 
unit and the image capture unit are, for the purpose of simplifying the description, 
only depicted schematically without known, obvious device parts. For the 
simplification of the description, it was additionally dispensed with describing forms 
of implementation of device parts that belong to the state of the art, such as specific 
forms of implementation of connections or of part-fixing devices, in full detail. 

In the form of implementation of Figure 1, the source of beams (2.7), the optical 
devices (2.4 and 2.6). and the pattern support (2.5) are rigidly connected with the 
support mount (2.3) of the projection unit. The optical devices in the form of 
implementation depicted here involve a source of beams (2.7) by means of which the 
object can be illumined on its surface, a condenser (2.6), as well as a pattern support 
on which the pattern (whether etched in or in the form of a slide transparency) is 
positioned. The support (2.2) is, for hygienic reasons (for the purpose of 
disinfection), connected with the support mount (2.3) in a detachable manner. The 
connection of the support (2.2) with the support mount (2.3) is configured in such 
a manner that, after a change of the support (2.2), its set geometrical positions are 
reproduced precisely (without adjustment). The pattern placed on the pattern support 
(2.5) is projected onto the object that is to be captured (1.1) by means of a beam 
deflection device (2.1). In order to obtain relevant information for the 3D calculation, 
a projected line pattern is applied transversely to the level spread on the triangulation 
angle. 

The following are rigidly connected with the support mount (3.3) of the image capture 
unit: the optical device (3.4), the electronic image converter (3.5), as well as the 
positioning rods (3.10). The support (3.2) is, for hygienic reasons (for the purpose 
of disinfection), connected with the support mount (3.3) in a detachable manner. The 
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connection of the support (3.2) with the support mount (3.3) is configured in such 
a manner that, after a change of the supports (3.2), its set geometrical position is 
reproduced precisely (without adjustment). The electronic image converter (3.5) is 
configured as a CCD array and connected, by way of the electrical connections (3.9), 
with the control unit (3.6), the A/D converter (3.7), and the data processing unit 
(3.8). The beams reflected from the object (1 .1) are imaged on the image converter 
(3.5) by means of the optical devices (3.4), in this case an objective lens. 

For the carrying out of the first capture, the projection unit and the image capture unit 
are, with the help of two positioning rods (3.10), brought into a defined position in 
relation to one another. The triangulation angle which is consequently known permits 
the calculation of 3D coordinates of the captured image. 

Figure 2 depicts the same projection unit and image capture unit, but in the decoupled 
condition after the carrying out of the first capture in a series of captures of the same 
object, however. Further images of additional areas of the object and/or from a 
changed direction of view can now be captured. Because of the high frequency of 
capture, such as of 50 Hz in the configuration depicted, for example, a high level of 
overlapping of the images, which is in every case sufficient, can be assumed, which 
makes it possible, by means of suitable matching algorithms and numerical processes, 
to compute the positions of the projection unit and the image capture unit relative to 
one another as well to the object, which positions have changed in relation to the 
specifically preceding capture, and to thereby also compute the triangulation angle 
which is specifically relevant, for example. This makes possible the determination of 
the 3D coordinates of an object, which could not be determined with a single capture. 

Figure 3 depicts one form of implementation in which, by means of the projection of 
the same pattern by way of a second beam path - that is, in addition to the (invasive) 
parts of the device that are used -- which is guided from the projection unit to the 
image capture unit, the relative positions of the projection unit and of the image 
capture image to one another are known at the point in time of every capture. In this 
form of implementation, the pattern is diverted by 90 degrees by means of a beam 
splitting device (2.8) and projected, through a lens (2.9) with a divergent beam path 
positioned on the projection unit, onto a ground glass disk (3.12) positioned on the 
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image capture unit. The image of the portion of a pattern which thereby results is, 
by means of a beam deflection device (3.1 1 ), diverted by 90 degrees into the beam 
path of the support of the image capture unit in such a manner that it is imaged on 
one half of the two-dimensional field of view of the electronic image converter (3.5). 
Through the evaluation of the significant pattern segments of the image in the data 
processing unit (3.8) by means of suitable numerical processes, the position of the 
projection unit relative to the image capture unit is known for every individual 
capture. With this form of implementation, the 3D coordinates of which can only be 
computed through the evaluation of a multiplicity of captures, the attainable precision 
of the 3D coordinates can be significantly increased in relation to the one described 
above, particularly in the case of complex objects. 

Figure 4 depicts, by way of example, one form of implementation of the pattern, 
through which, because of the different pattern of each of the individual concentric 
elements (coding), differences in the calculation of triangulation can be avoided. 

One particularly advantageous use of the invention is to be seen in the area of 
invasive medicine. For the three-dimensional optical imaging of an organ inside the 
human body, for example, the forward part of the support (2.3) as well as of the 
support (3.2), for example, are inserted through the abdominal wall, the capture 
process is started by means of an activation element which is not depicted in the 
diagrams but which is present in the framework of the data processing unit (3.8), 
and, during the course of the capturing process, the projection unit and the image 
capture unit are moved in such a manner that all relevant surface areas of the object 
(1.1) are gradually represented, both on the image converter (3.5) as well as by the 
projection of the pattern of lines. The capture process is ended by an additional 
activation of the activation element stated in the preceding. 

As the result of the individual image information captured, the images of the pattern 
of lines distorted by the surface form of the object (1.1) are now presented. Given 
a knowledge of the optical beam paths, and with consideration to the geometrical 
configuration of the projected pattern of lines for the corresponding individual 
exposures, a multiplicity of support points of 3D coordinates can be computed from 
the distortion of the pattern of lines. As the result of the 3D coordinates assigned to 
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the individual images, furthermore, the 3D coordinates can be combined in the way 
and manner described above so that, as the result, the 3D coordinates of the entire 
surface investigated are present despite the limitation of the projection surface and 
of the field of view of the image capture unit. Gaps in information for reason of 
undercuts are thereby no longer present. The user can additionally optimize the 
guiding of the capture device by means of an online calculation and indication of the 
specific interim findings. 

The forms of implementation which have been depicted here are distinguished, among 
other points, by the fact that: 

a) No movable parts are used in the projection unit and image capture unit; 

b) The optical structure is configured in a simple manner; 

d) Apart from the support units (2.2 and 3.2), the support mounts (2.3 and 3.3), 
and the pattern support for the projection of the pattern (2.5), hardware 
components of the commercially available type can be used. 

A process and a device in which optical devices synchronized with the image 
alternation frequency of the image converter, in such a manner that a pattern is 
alternately projected onto the surface to be measured and the surface considered is 
completely illuminated, is already known from the German patent application number 
196 35 354.3 of the same applicant. 

In one particularly advantageous configuration of the image capture device in 
accordance with the invention, additional devices in the previous sense are positioned 
and placed in such a manner that both 3D information as well as colored views of the 
surface scanned, for example, can be obtained from a series of individual images. 
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Listing of reference numbers 



1 . 1 Object with three-dimensional extension 

2. Projection unit 

2.1 Beam deflection device (mirror) 

2.2 Support (constructed here as a body of optical glass) 

2.3 Support mount 

2.4 Optical device (objective lens) 

2.5 Pattern support (with pattern etched in or a slide transparency, for example) 

2.6 Optical device (condensor) 

2.7 Source of beams 

2.8 Beam splitting device 

2.9 Optical device (lens) 

3. Image capture unit 

3.1 Beam deflecting device (mirror) 

3.2 Support (constructed here as a body of optical glass) 

3.3 Support mount 

3.4 Optical device (objective lens) 

3.5 Electronic image converter (CCD Array) 

3.6 Starting unit 

3.7 A/D converter (/term in English/: "Frame Grabber") 

3.8 Data processing unit 

3.9 Electrical connections 

3.10 Positioning rods 

3.1 1 Beam deflecting device (deflecting prism) 

3.12 Ground glass disk 
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Patent claims: 

1. A process for the three-dimensional measurement of objects (1.1) by means 
of optical exposures, a projected pattern, and calculations of triangulation, with 
the use of at least one electronic image converter (3.5) with an areal field of 
view, at least one optical device (3.4) for the representation of the object on 
the image converter (3.5), and at least one source of beams (2.7) and suitable 
optical devices (2.4, 2.5, and 2.6) for the projection of patterns, characterized 
in that: 

a) The devices (2.1 to 2.7) for the projection of the pattern are spatially 
separated from the devices (3.1 to 3.5) for the image capture, are not 
connected with them, and can moved in relation to them with all levels 
of freedom; 

b) For at least one image capture during the course of the capture process, 
the geometrical configuration of devices (2.1 to 2.7) for the projection 
of the pattern in relation to the devices (3.1 to 3.5) for the image 
capture is not known in advance, and must be determined through the 
use of additional devices. 

2. A process in accordance with claim 1, characterized in that, the additional 
devices that are used for the determination of the geometrical configuration of 
the devices (2.1 to 2.7) for the projection of the pattern in relation to the 
devices (3.1 to 3.5) for the image capture are devices for the measurement of 
this geometrical configuration. 

3. A process in accordance with claim 2, characterized in that, the measurement 
of the geometrical configuration of the devices (2.1 to 2.7) for the projection 
of the pattern takes place by optical means opposite the devices (3.1 to 3.5) 
for the image capture. 
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4. A process in accordance with claim 3, characterized in that, calculations of 
triangulation with the use of a clearly defined pattern are used for the optical 
measurement of the geometrical configuration of the devices (2.1 to 2.7) for 
the projection of the pattern in relation to the devices (3.1 to 3.5) for the 
image capture. 

5. A process in accordance with claim 4, characterized in that, the clearly defined 
patterns for the optical measurement of the geometrical configuration of the 
devices (2.1 to 2.7) for the projection of the pattern in relation to the devices 
(3.1 to 3.5) for the image capture are formed through projection. 

6. A process in accordance with claim 5, characterized in that, a beam splitting 
device (2.8) is positioned in the path of the beam of the projection of the 
pattern for the measurement of the object (1.1), so that the pattern applied to 
the pattern support (2.5) is likewise used for the measurement of the object 
and is represented on a surface (3.12) which is rigidly connected with the 
support mount (3.3) and is known in its spatial extension. 

7. A process in accordance with claim 6, characterized in that, the pattern 
projected on the surface (3.12) is imaged on the image converter (3.5) by 
means of the optical device (3.11). 

8. A process in accordance with claim 7, characterized in that, the surface (3.12) 
is a ground glass disk. 

9. A process in accordance with claim 7, characterized in that, the optical devices 
(3.1 1) are a mirror. 

10. A process in accordance with claim 7, characterized in that: 



The optical devices (3.11) comprise a beam splitting device which 
covers the entire beam path; 
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b) At least two individual captures are carried out during the course of 
capture process; and: 



c) Additional switchable optical devices are positioned on two optical axes 
of the beam splitting devices, which are synchronously switched at the 
image alternation frequency of the image converter in such a manner as 
to be alternately optically permeable and non-permeable. 

11. A process in accordance with claim 1, characterized in that: 

a) At least two individual captures are carried out during the course of the 
capture process; 

b) The geometrical configuration of the devices (2.1 to 2.7) for the 
projection of the pattern in relation to the devices (3.1 to 3.5) for the 
image capture for the exposure of an individual image is known; 

c) For significant areas of the object, for which, even during this image 
capture -- which was carried out with a known geometrical configuration 
of the devices (2.1 to 2.7) for the projection of the pattern in relation to 
the devices (3.1 to 3.5) for the image capture --, a sufficient number of 
3D coordinates of surface areas could be formed, corresponding image 
information is also present in the following individual images; 

[d]) The geometrical configuration of the devices (2.1 to 2.7) for the 
projection of the pattern in relation to the devices (3.1 to 3.5) for the 
image capture is computed from a comparison of the data originating 
from the individual images in relation to the information concerning the 
surface areas of the object likewise represented with the use of 
numerical algorithms. 

12. A process in accordance with claim 1 1 , characterized in that, the geometrical 
configuration of the devices (2.1 to 2.7) for the projection of the pattern in 
relation to the devices (3.1 to 3.5) for the image capture for the exposure of 
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an individual image is known through the fact that the positioning rods (3.10) 
are marked. 

1 3. A process in accordance with claim 1 1 . characterized in that, the numerical 
algorithms that are used, which compute the geometrical configuration of the 
devices (2.1 to 2.7) for the projection of the pattern in relation to the devices 
(3.1 to 3.5) for the image capture, involve processes in accordance with an 
optimizing development strategy. 

14. The use of the process in accordance with one of the claims 1 to 13 for 
medical diagnosis, therapy, or documentation. 

15. A device in accordance with one of the claims 1 to 13, characterized in that, 
at least one image converter (3.5) is configured as a CCD array. 

16. A device in accordance with one of the claims 1 to 13 as well as 15, 
characterized in that, the support mount (2.3) or the support (2.2) rigidly 
connects at least two of the devices (2.4 to 2.7). 

17. A device in accordance with one of the claims 1 to 13 as well as 15 and 16, 
characterized in that, the support mount (3.3) or the support (3.2) rigidly 
connects the devices (3.4 and 3.5). 

18. A device in accordance with one of the claims 1 to 13 as well as 15 to 17, 
characterized in that, the support (2.2), with its structural parts, is connected 
with the support mount (2.3) in a detachable manner and is, incidentally, 
configured in such a manner that it is suited for a separate sterilization or 
disinfection. 

19. A device in accordance with one of the claims 1 to 13 as well as 15 to 18, 
characterized in that, the support (3.2), with its structural parts, is connected 
with the support mount (3.3) in a detachable manner and is, incidentally, 
configured in such a manner that it is suitable for a separate sterilization or 
disinfection. 



I 

I 
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20. A device in accordance with one of the claims 1 to 13 as well as 15 to 19, 
characterized in that, at least one system of lenses for the optical 
representation of the object (1.1) on the image converter (3.5) is attached to 
the support (3.2). 

21 . A device in accordance with one of the claims 1 to 13 as well as 15 to 20, 
characterized in that, at least one system of lenses for the optical projection 
of the pattern onto the object (1 .1) is attached to the support (2.2). 

22. A device in accordance with one of the claims 1 to 13 as well as 15 to 21, 
characterized in that, the support (2.2) has at least one optical deflecting 
device (2.1). 

23. A device in accordance with one of the claims 1 to 13 as well as 15 to 22, 
characterized in that, the support (3.2) has at least one optical deflecting 
device (3.1). 

24. The use of devices in accordance with one of the claims 15 to 23 for invasive 
medical purposes. 



